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2. Selection [XJ a ete faite 

I | n'a pas ete faite 
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POUR SUITE vo ' r ,a notification de transmission du rapport de recherche internationale 
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Demande Internationale n° 

PCT/FR 00/02546 


Date du depot international (jour/mois/annee) 

14/09/2000 


(Date de phortte (la plus ancienne) 
(jour/mois/annee) 

17/09/1999 


Deposant 

UNIVERSITE JOSEPH FOURIER ! 



Le present rapport de recherche internationale, etabli par i'administration chargee de la recherche internationale, est transmis au 
deposant conformement a I' article 18. Une copie en est transmise au Bureau international. 

Ce rapport de recherche internationale comprend 3 feuilles. 

PH II est aussi accompagne d'une copie de chaque document relatif a I'etat de la technique qui y est cite. 



1 . Base du rapport 

a. En ce qui concerne la langue, la recherche internationale a ete effectuee sur la base de la demande internationale dans la 
langue dans laquelle elle a ete deposee, sauf indication contraire donnee sous le meme point. 

| | la recherche internationale a ete effectuee sur la base d'une traduction de la demande internationale remise a I'administration. 

b. En ce qui concerne les sequences de nucleotides ou d'acldes amines divulguees dans la demande internationale (le cas echeant), 
la recherche internationale a ete effectuee sur la base du listage des sequences : 
[ ) contenu dans la demande internationale, sous forme ecrite. 

deposee avec ta demande internationale, sous forme dechiffrable par ordinateur. 

remis ufterieurement a I'administration, sous forme ecrite. 

remis ufterieurement a I'administration, sous forme dechiffrable par ordinateur. 



2. 
3. 



□ 
□ 
□ 
□ 

□ 

□ 
□ 



La declaration, selon laquelle le listage des sequences presente par ecrit et fourni ufterieurement ne vas pas au-dela de la 
divulgation faite dans la demande telle que deposee, a ete fournie. 

La declaration, selon laquelle les informations enregistrees sous forme dechiffrable par ordinateur sont identiques a celles 
du listage des sequences presente par ecrit, a ete fournie. 

II a ete estlme que certalnes revendlcatlons ne pouvaient pas falre I'objet d'une recherche (voir le cadre I). 
II y a absence d'unlte de I' Invention (voir le cadre II). 



4. En ce qui concerne le tltre, 

| | le texte est approuve tel qu'il a ete remis par le deposant. 
[Xj Le texte a ete etabli par I'administration et a la teneur suivante: 

[^CONSTITUTION STATISTIQUE DE SURFACES EN TR0IS DIMENSIONS 



En ce qui concerne l'abrege\ 

le texte est approuve tel qu'il a ete remis par le deposant 

□ le texte (reproduit dans le cadre III) a ete etabli par I'administration conformement a la regie 38.2b). Le deposant peut 
presenter des observations a I'administration dans un delai d'un mois a compter de la date d'expedition du present rapport 
de recherche internationale. 

La figure des desslns a publier avec I'abrege est la Figure n° 2 



I I suggeree par le deposant. Q Aucune des figures 

| | parce que le deposant n'a pas suggere de figure. n est a P ub,,er 

|X| parce que cette figure caracterise mieux I'invention. 
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le Internationale No 
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A. CLASSEMENT DE L OBJET DE LA DEMANDE 

CIB 7- G06T11/00 



Seioh la classification Internationale des brevets (CIB) ouala fois sejon la classification nation ale et la CIB 



.B. DOMAINES SUR LESQUELS LA RECHERCHE A PORTE 



Documentation minim ale consultee (systeme de classification suivi des symboles de classement) 

CIB 7 G06T 



Documentation consultee autre que la documentation minimale dans la mesure ou ces documents relevent des domaines sur lesquels a porte la recherche 



Base de donnees etectronique consultee au cours de la recherche Internationale (nom de la base de donnees, et si realisable, termes de recherche utilises) 

EPO-Internal , PAJ, WPI Data, INSPEC, COMPENDEX 



C. DOCUMENTS CONSIDERES COMME PERTINENTS 



Categorie ° 


Identification des documents cites, avec, le cas echeant, I'indication des passages pertinents 


no. des revendications visees 


X 


LAVALLEE S ET AL: "RECOVERING THE 


1,4-12 




POSITION AND ORIENTATION OF FREE-FORM 




OBJECTS FROM IMAGE CONTOURS USING 3D 






DISTANCE MAPS" 






IEEE TRANSACTIONS ON PATTERN ANALYSIS AND 






MACHINE INTELLIGENCE'S, IEEE INC. NEW 






YORK 






vol/l7, no. 4, 1 avril 1995 (1995-04-01), 






pages 378-390, XP000499568 






ISSN: 0162-8828 






page 378, colonne de gauche, alinea 1 






-page 379, colonne de droite, alinea 2 






figures 2-4 






page 385, colonne de gauche, ligne 4 - 






derniere ligne 






page 387, colonne de droite, dernier 






alinea 






-/-- 





[ X I Voir la suite du cadre C pour la fin de la liste des documents 



□ 



Les documents de families de brevets sont indiques en annexe 



0 Categories sped ales de documents cites: 

"A" document definissant I'etat general de la technique, non 
considere comme particulierement pertinent 

"E" document anterieur, mais publie a la date de depdt international 
ou apres cette date 

"L" document pouvant jeter un doute sur une revendication de 
priorite ou cite pour determiner la date de publication d'une 
autre citation ou pour une raison speciale (telle qu'indiquee) 

"O" document se referant a une divulgation orale, a un usage, a 
une exposition ou tous autres moyens 

"P" document publie avant la date de depdt international, mais 
posterieurement a la date de priorite revendiquee 



document ulterieur publie apres la date de depdt international ou la 
date de priorite et n'appartenenant pas a I'etat de la 
technique pertinent, mais cite pour comprendre le principe 
ou la theorie constituant la base de I'invention 

document particulierement pertinent; I'inven tion revendiquee ne peut 
etre consideree comme nouvelle ou comme impliquant une activite 
inventive par rapport au document considere isolement 

document particulierement pertinent; I'inven tion revendiquee 
ne peut etre consideree comme impliquant une activite inventive 
lorsque le document est associe a un ou plusieurs autres 
documents de meme nature, cette combinaison etant evidente 
pour une personne du metier 

document qui fait partie de la meme famille de brevets 



Date a laquelle la recherche international e a ete effectivement achevee 

31 octobre 2000 


Date d'expedition du present rapport de recherche intemationale 

08/11/2000 


Nom et adresse postale de Tadministration chargee de la recherche Internationale 
Office Europeen des Brevets. P.B. 5818 Patentlaan 2 
NL - 2280 H V Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 eponl, 
Fax: (+31-70) 340-3016 


Fonctionnaire autoris6 

Diallo, B 
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no. des revendications visees 


X • 


FLEUTE, M. ; LAVALLrlE, S.: "Building a 


1-3,9,11 




complete surface model from sparse data 




using statistical shape models : 






application to computer assisted knee 






surgery" 






MEDICAL IMAGE COMPUTING AND 






COMPUTER-ASSISTED INTERVENTION - MICCAI'98 






PROC. , 












j XP000913649 






Cambridge, MA, USA 






cite dans la demande 






abrege; figures 1-4 






page 880, alinea 2 -page 885, ligne 4 

— 




A 


GUEZIECA., KAZANZIDES,P. ; ETAL.: 


4 




"Anatomy-based registration of CT-scan and 






intraoperative X-Ray images for guiding a 






surgical robot" 






IEEE TRANS. MED. IMAG., 






vol. 17, no. 5, 






l octoure xyyo v iyyo — iu-ui j, pages 






715-728, XP002140303 






cite dans la demande 






abrege; figures 1,5 






page 718, colonne de droite, alinea III 






-page 720, colonne de droite, alinea A 




A 


— 

LAVALLEE S ET AL: " MATCHING OF MEDICAL 






IMAGES FOR COMPUTED AND ROBOT ASSISTED 






SURGERY" 






PROCEEDINGS OF THE ANNUAL INTERNATIONAL 






CONFERENCE OF THE ENGINEERING IN MEDICINE 






AND BIOLOGY SOCIETY, US, NEW YORK, IEEE, 






vol. C0NF. 13, 1991, pages 39-40, 






XP000347734 
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COOPERATION EN MATIE^ 

PCT 
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DE BREVETS 




WIPO PCT 

RAPPORT D'EXAMEN PRELIMINAIRE INTERNA I IONAL 

(article 36 et regie 70 du PCT) 



Reference du dossier du deposant ou du 
mandataire 

B4526 PCT 


voir la notification de transmission du rapport d'examen 
POUR SUITE A DONNER preliminaire international (formulaire PCT/IPEA/416) 


Demande intemationale n° 
PCT/FR00/02546 


Date du depot international (jour/mois/annSe) 
14/09/2000 


Date de priorite Qour/mois/ann6e) 
17/09/1999 


Classification intemationale des brevets (CIB) ou a la fois classification nationale et CIB 
G06T11/00 


Deposant 

UNIVERSITE JOSEPH FOURIER et al. 



1. Le present rapport d'examen preliminaire international, etabli par I'administaration chargee de I'examen preliminaire 
international, est transmis au deposant conformement a ['article 36. 

2. Ce RAPPORT comprend 6 feuilles, y compris la presente feuille de couverture. 

□ II est accompagne d'ANNEXES, c'est-a-dire de feuilles de la description, des revendications ou des dessins qui ont 
ete modifiees et qui servent de base au present rapport ou de feuilles contenant des rectifications faites aupres de 
I'administration chargee de I'examen preliminaire international (voir la regie 70.16 et ('instruction 607 des Instructions 
administratives du PCT). 

Ces annexes comprennent feuilles. 



3. Le present rapport contient des indications relatives aux points suivants: 

I S Base du rapport 

II □ Priorite 

III □ Absence de formulation d'opinion quant a la nouveaute, I'activite inventive et fa possibilite 

d'application industrielle 

IV □ Absence d'unite de invention 

V IS Declaration motivee selon Particle 35(2) quant a la nouveaute, I'activite inventive et la possibilite 

d'application industrielle; citations et explications a I'appui de cette declaration 

VI □ Certains documents cites 

VII Irregularis dans la demande Internationale 

VIII G3 Observations relatives a la demande intemationale 



Date de presentation de la demande d'examen preliminaire 
intemationale 

07/04/2001 



Date d'achevement du present rapport 
11.01.2002 



Norn et adresse postale de I'administration cha r gee de 
I'examen preliminaire international: 
Office europeen des brevets 

D-80298 Munich 
Tel. +49 89 2399 - 0 Tx: 523656 epmu d 

Fax: +49 89 2399 - 4465 



Fonctionnaire autorise 
Tibaux, M 

N° de telephone +49 89 2399 2656 
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RAPPORT D'EXAMEN 
PRELIMINAIRE INTERNATIONAL 



Demande internationale n° PCT/FR00/02546 



I. Base du rapport 

1 . En ce qui concerne les elements de la demande internationale (les feuilles de remplacement qui ont 6t6 remises 
£ i'office r&cepteur en rgponse a une invitation faite conform&ment a I'article 14 sont consid6rees dans le present 
rapport comme "initiaiement d£pos6es" et ne sont pas jointes en annexe au rapport puisqu'elles ne contiennent 
pas de modifications (r&gles 70. 16 et 70. 17)): 

Description, pages: 

1-18 version initiale 

Revendications, N°: 

1-12 version initiale 

Dessins, feuilles: 

1/3-3/3 version initiale 

2. En ce qui concerne la langue, tous les elements indiques ci-dessus etaient a la disposition de I'administration ou 
lui ont ete remis dans la langue dans laquelle la demande internationale a ete d6posee, sauf indication contraire 
donnee sous ce point. 

Ces elements etaient a la disposition de Tadministration ou lui ont ete remis dans la langue suivante: , qui est : 

□ la langue d'une traduction remise aux fins de la recherche internationale (selon la regie 23.1(b)). 

□ la langue de publication de la demande internationale (selon la regie 48.3(b)). 

□ la langue de la traduction remise aux fins de I'examen preliminaire internationale (selon la regie 55.2 ou 



3. En ce qui concerne les sequences de nucleotides ou d'acide amines divulguees dans la demande 
internationale (le cas ech§ant), I'examen preliminaire internationale a §te effectue sur la base du listage des 
sequences : 

□ contenu dans la demande internationale, sous forme ecrite. 

□ depose avec la demande internationale, sous forme dechiffrable par ordinateur. 

□ remis ulterieurement & I'administration, sous forme Ecrite. 

□ remis ulterieurement & I'administration, sous forme dechiffrable par ordinateur. 

□ La declaration, selon laquelle le listage des sequences par §crit et fourni ulterieurement ne va pas au-del& 
de la divulgation faite dans la demande telle que d£pos£e, a ete fournie. 

□ La declaration, selon laquelle les informations enregistr£es sous dechiffrable par ordinateur sont identiques & 
celles du listages des sequences Presente par ecrit, a ete fournie. 

4. Les modifications ont entraine I'annulation : 



55.3). 
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□ de la description, pages : 

□ des revendications, n os : 

□ des dessins, feuilles : 

5. □ Le present rapport a 6t6 formula abstraction faite (de certaines) des modifications, qui ont 6\6 consid6r6es 
comme allant au-del& de I'expos^ de I'invention tel qu'il a 6t6 d6pos6, comme il est indique ci-apr^s (rfcgle 
70.2(c)) : 

(Toute feuil/e de remplacement comportant des modifications de cette nature doit etre indiquge au point 1 et 
annex4e au present rapport) 



6. Observations complementaires, le cas echeant : 



V. Declaration motivee selon Particle 35(2) quant a la nouveaute, I'activite inventive et la possibilite 
d'application industrielle; citations et explications a I'appui de cette declaration 

1. Declaration 

Nouveaute Oui : Revendications 1-12 

Non : Revendications 

Activite inventive Oui : Revendications 

Non: Revendications 1-12 

Possibilite d'application industrielle Oui: Revendications 1-12 

Non : Revendications 



2. Citations et explications 
voir feuille separee 



VII. Irregularites dans la demande internationale 

Les irregularites suivantes, concernant la forme ou le contenu de la demande internationale, ont 6t6 constat6es : 
voir feuille separee 

VIII. Observations relatives a la demande internationale 

Les observations suivantes sont faites au sujet de la clart§ des revendications, de la description et des dessins 
et de la question de savoir si les revendications se fondent entifcrement sur la description : 
voir feuille separee 



Formulaire PCT/IPEA/409 (cadres l-Vlli, feuille 2) (juillet 1998) 



THIS PAGE BLANK (uspto) 



RAPPORT D'EXAMEN Demande Internationale n° PCT/FR00/02546 

PRELIMINAIRE INTERNATIONAL - FEUILLE SEPAREE 



Concernant [e point V 

Declaration motivee selon la regie 66.2(a)(ii) quant a la nouveaute, I'activite 
inventive et la possibility ^application industrielle; citations et explications a 
I'appui de cette declaration 

1 ) . II est fait reference aux documents suivants: 

D1 : LAVALLEE S ET AL: 'RECOVERING THE POSITION AND ORIENTATION 
OF FREE-FORM OBJECTS FROM IMAGE CONTOURS USING 3D 
DISTANCE MAPS' IEEE TRANSACTIONS ON PATTERN ANALYSIS AND 
MACHINE INTELLIGENCE, US, IEEE INC. NEW YORK, vol. 17, no. 4, 1 avril 
1995 (1995-04-01), pages 378-390, XP000499568 ISSN: 0162-8828 

D2: FLEUTE, M.; LAVALLEE, S.: 'Building a complete surface model from 

sparse data using statistical shape models : application to computer assisted 
knee surgery 1 MEDICAL IMAGE COMPUTING AND COMPUTER- 
ASSISTED INTERVENTION - MICCAI'98 PROC., - 1 octobre 1998 (1998- 
10-01) XP000913649 Cambridge, MA, USA cite dans la demande 

2) . L'objet de la revendication 1 n'implique pas d'activite inventive (article 33(3) 

PCT). 

3) . D1 divulgue toutes les etapes du procede de la revendication 1 , a Texception de 

la derniere. En effet le referentiel de reference est decrit a la figure 1 de D1 page 
378, colonne de droite, lignes 1-21, et les etapes de procede revendiquees 
correspondent aux etapes du procede de D1 , voir page 385, colonne de gauche, 
lignes 5-35. 

4) . D2 (page 881 , ligne 3 - page 884, ligne 2) divulgue la selection ("only the 

important deformations are extracted") d'une deformation d'un modele (figure 3) 
pour modifier ses contours en trois dimensions. D2 se base sur les modeles 
deformables (Point distribution Models) definis par Cootes et Taylor (page 881 , 
ligne 1) et en particulier sur les series de deformations extraites comme specifie a 
la page 881 , lignes 3-17. 
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PRELIMINAIRE INTERNATIONAL - FEUILLE SEPAREE 



5) . Par consequent la personne du metier ajoutera aux etapes du procede de D1 , 

sans exercer aucune activite inventive, Tetape de selectionner une deformation du 
modele pour modifier ses contours en trois dimensions, divulguee dans D2, car 
d'une part D1 suggere, en se referant a I'analyse de distribution d'erreur (page 
385, colonne de gauche, etape 7 lignes 33-35) le recours a un modele statistique 
(voir aussi D1 page 387, colonne de droite, dernier paragraphe, "compute a 
matching score by looking at the residual error function") et d'autre part les 
modeles statistiques de D2 s'inscrivent dans un contexte de deformation du 
modele en trois dimensions, ladite deformation aboutissant necessairement a un 
resultat de modification des contours. 

6) . Les revendications dependantes n'ajoutent rien d'inventif car elles ont pour objet, 

soit des details de realisation des etapes divulguees dans D1 , eux-memes 
conformes aux enseignements de D1, soit des caracteristiques du modele 
statistique, connues en soi (cf description de la demande, page 10, ligne 33 - 
page 11 ligne 27). 

Concernant le point VII 

Irregularites dans la demande internationale 

7) . Contrairement a ce qu'exige la regie 5.1 a) ii) PCT, la description n'indique pas 

I'etat de la technique anterieure pertinent expose dans le document D1 et ne cite 
pas ce document. 

Concernant le point VIII 

Observations relatives a la demande internationale 

8) . La derniere etape de la revendication 1 est formulee de fagon vague : 

"selectionner une deformation du modele pour modifier ses contours en trois 
dimensions", et ne definit pas d'ou provient la deformation a selectionner (il 
semble necessaire de se referer a la notion de correspondance statistique ) et sur 
base de quel critere se fera la selection. Ces notions doivent etre definies dans la 
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revendication independante independamment du fait (accepte) que "La realisation 
du modele statistique deformable en lui-meme ne fait pas I'objet de la presente 
invention et est parfaitement classique" (page 10, ligne 34 - page 1 1 , ligne 1). II 
n'est pas non plus defini en quoi consiste la modification des contours, ni 
comment elle resulte de la selection d'une deformation. L'objet de ladite 
revendication n'est done pas clairement defini (article 6 PCT). 
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PATENT COOPERATION T^lTY 

INTERNATIONAL PRELIMINARY EXAMINATION REPORT 

(PCT Article 36 and Rule 70) £ & ^ & 



Applicant's or agent's file reference 
B4526PCT 


for niPTHrn Arxiniv See Notiflcation of Transmittal of International 
rCiK r UK 1 HLK AC 1 1UIN PreHminaiy Examination Report (Form PCT/IPEA/416) 


International application No. 


International filing date {day/montli/year) 


Priority date (day/month/year) 


PCT/FR00/02546 


14 September 2000 (14.09.00) 


17 September 1999 (17.09.99) 


International Patent Classification (IPC) or national classification and IPC 




G06T 11/00 






Applicant 


UNIVERSITE JOSEPH FOURIER 





This international preliminary examination report has been prepared by this International Preliminary Examining 
Authority and is transmitted to the applicant according to Article 36. 



This REPORT consists of a total of 



sheets, including this cover sheet. 



This report is also accompanied by ANNEXES, i.e., sheets of the description, claims and/or drawings which have 
been amended and are the basis for this report and/or sheets containing rectifications made before this Authority 
(see Rule 70.16 and Section 607 of the Administrative Instructions under the PCT). 



These annexes consist of a total of 



sheets. 



3. This report contains indications relating to the following items: 
Basis of the report 
Priority 

Non-establishment of opinion with regard to novelty, inventive step and industrial applicability 
Lack of unity of invention 

Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 

Certain documents cited 

Certain defects in the international application 

Certain observations on the international application 



1 




II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 




VIII 





Date of submission of the demand 

07 April 2001 (07.04.01) 


Date of completion of this report 

1 1 January 2002 (11.01 .2002) 


Name and mailing address of the IPEA/EP 
Facsimile No. 


Authorized officer 
Telephone No. 



Form PCT/IPEA/409 (cover sheet) (January 1994) 



PAGE BLANK msno) 



3 • 

PRELIMINARY EXAMINATION REPORT 



FInternational application No. 
INTERNATIONAL PRELIMINARY EXAMINATION REPORT ! PCT/FR00/02546 



I. Basis of the report 



1 . This report has been drawn on the basis of {Replacement sheets which have been furnished to the receiving Office in response to an invitation 
under Article 14 are referred to in this report as "originally filed" and are not annexed to the report since they do not contain amendments ). 

the international application as originally filed. 

| | the description, pages . as originally filed, 

pages . filed with the demand, 



pages ' filed with the letter of 

pages , filed with the letter of 



| "j the claims, Nos. » as originally filed, 

Nos. > as amended under Article 19, 

Nos. , filed with the demand, 

Nos. , filed with the letter of 



Nos. , filed with the letter of 

[~| the drawings, sheets/fig 1/3-3/3 t as originally filed, 

sheets/fig , filed with the demand, 

sheets/fig , filed with the letter of 

sheets/fig , filed with the letter of 

2. The amendments have resulted in the cancellation of: 

□ 

the description, pages 

the claims, Nos. 

the drawings, sheets/fig 



3 I - ] This report has been established as if (some of) the amendments had not been made, since they have been considered 
— to go beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)). 

4. Additional observations, if necessary: 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 


1 . Statement 








Novelty (N) 


Claims 


1 


-12 YES 




Claims 




NO 


Inventive step (IS) 


Claims 




YES 




Claims 


1 


-12 NO 


Industrial applicability (1A) 


Claims 


1 


~ 12 YES 




Claims 




NO 



2. Citations and explanations 

1). The following documents are referred to: 



Dl: LAVAL LEE S. ET AL . : "RECOVERING THE POSITION AND 
ORIENTATION OF FREE-FORM OBJECTS FROM IMAGE 
CONTOURS USING 3D DISTANCE MAPS", IEEE 
TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE 
INTELLIGENCE, US, IEEE INC., NEW YORK, Vol. 17, N° 
4, 1 April 1995 (1995-04-01), pages 378-390, 
XP0 004 995 68, ISSN: 0162-8828 

D2 : FLEUTE M . ; LAVALLEE S.: "Building a complete 

surface model from sparse data using shape models: 
application to computer assisted knee surgery", 
MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED 
INTERVENTION - MICCAI 1 98 PROC . , - 1 October 1998 
(1998-10-01), XP000913649, Cambridge, MA, USA, 
cited in the application. 



2). The subject matter of Claim 1 involves no inventive 
step (PCT Article 33(3)). 



3) . Dl discloses all the steps of the method defined in 
Claim 1, except for the last step. Indeed, the 
reference universal set is described Dl (Figure 1; page 
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378, right-hand column, lines 1-21), and the claimed 
method steps correspond to the method steps of Dl (see 
page 385, left-hand column, lines 5-35) . 



4) . D2 (page 881, line 3, to page 884, line 2) discloses 
the selection ("only the important deformations are 
extracted") of a deformation of a model (Figure 3) to 
modify its contours in three dimensions. D2 is based on 
the deformable models (Point distribution Models) 
defined by Cootes and Taylor (page 881, line 1), and in 
particular on the series of deformations extracted as 
specified on page 881, lines 3-17. 



5) . Consequently, without exercising inventive skill, a 

person skilled in the art would add to the method steps 
of Dl the step, disclosed in D2, of selecting a 
deformation of the model in order to modify its 
contours in three dimensions, firstly because Dl, 
referring to the analysis of error distribution (page 
385, left-hand column, step 7, lines 33-35) , suggests 
the use of a statistical model (see also Dl, page 387, 
right-hand column, last paragraph, "compute a matching 
score by looking at the residual error function"), and 
secondly because the statistical models of D2 are used 
in the context of deforming the model in three 
dimensions, and this deformation necessarily results in 
a modification of the contours. 



6) . The dependent claims add no inventive element, since 
their subject matter concerns either details of the 
implementation of the steps disclosed in Dl, and these 
details themselves correspond to the teaching of Dl, or 
features of the statistical model which are known per 
se (see description of the present application, page 
10, line 33, to page 11, line 27) . 
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VII. Certain detects in the international application 



The following delects in the form or contents of the international application have been noted: 



7). Contrary to the requirements of PCT Rule 

5.1(a) (ii), neither Dl nor the relevant prior art 
disclosed in that document is mentioned in the 
description . 
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VI I L Certain observations on the international application 



The following observations on the clarity of the claims, description, and drawings or on the question whether the claims are fully 
supported by the description, are made: 

8) . The final step of Claim 1 is worded in vague terms: 
"select a deformation of the model in order to 
modify its contours in three dimensions", 
and it does not define the origin of the deformation 
to' be selected (it appears to be necessary to refer 
to the statistical equivalent notion) or indeed the 
criterion on which the selection is to be based. 
These notions must be defined in the independent 
claim, irrespective of the (accepted) fact that "The 
creation of the deformable statistical model per se 
does not belong to the subject matter of the present 
invention and is entirely conventional" (page 10, 
line 34, to page 11, line 1) . Furthermore, there is 
no definition of what the contour modification 
entails, nor of how such modification results from 
the selection of a deformation. Consequently, the 
subject matter of this claim is not clearly defined 
(PCT Article 6) . 
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(57) Abrege: Uinvention concerne un proce*de* et un systeme de reconstitution d'une image en trois dimensions repre*sentant les 
contours surfaciques d'au moins un objet (1), a partie d'au moins une vue en deux dimensions de cet objet prise aux rayons X, dans 
lesquels on de'terrnine la position de la source (7) de prise de vues dans un reTerentiel de reference, on selectionne un modele pr^ddfini 
consutuant une forme moyenne de l'objet et, de facon iterative jusqu'a ce que les contours du modele soient tels que les ecarts entre 
des rayons de rdtroprojection des contours de T image en deux dimensions depuis la source et la surface du modele soient niinimaux, 
on selectionne une orientation et une position du modele dans le reTerentiel de re'fe'rence, puis on selectionne une deformation du 
modele pour modifier ses contours en trois dimensions. 



rr 
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RECONSTITUTION STAT I ST I QUE PE SURFACES EN TROIS DIMENSIONS 



La presente invention concerne la reconstitution d 1 ima- 
ges en trois dimensions et, plus particulierement, la reconstitu- 
tion des contours surfaciques d'une image a partir de vues, meme 
incompletes, en deux dimensions, 
5 Un exemple d 1 application de la presente invention est 

la reconstitution d' images representant des elements osseux a 
partir d 1 images en deux dimensions prises, par exemple, aux 
rayons X. De telles images peuvent servir, par exemple, a simuler 
une intervention chirurgicale en permettant au praticien de pre- 

10 visualiser les positions respectives des os au niveau d'une arti- 
culation, par exemple, en cas de plastie ligamentaire ou de mise 
en place de prothdse. 

Aujourd'hui, pour permettre au praticien de visualiser 
une image en trois dimensions £ partir d 1 images en deux dimen- 

15 sions, on est contraint d'utiliser un scanner a rayons X effec- 
tuant des tomographies. A partir de ces tomographies, on sait 
reconstituer une image en trois dimensions. Soit il s'agit d'une 
technologie dite de tomographies en trois dimensions dans 
laquelle un grand nombre de vues (de l'ordre de 200) sent prises 

2 0 au moyen d'un scanner a rayons x selon differentes positions, et 
les contours de l'os sont alors recanstitu§s par traitement 
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d 1 image a partir de ces vues au scanner. Soit il s'agit d'uhe 
technologie dite de tomographies en deux dimensions dans laquelle 
un grand nombre de coupes sont prises au moyen d'un scanner a 
rayons. X transversalement a l'os. On peut alors reccnstituer * 
5 I 1 allure et la structure de l'os. 

La technique du scanner donne de bons resultats mais 
est d'une mise en oeuvre lourde et couteuse. En effet, 1' utilisa- 
tion d'un scanner permet d'bbtenir un ensemble d 1 images en deux 
dimensions fournissant non seulement des informations sur le 

10 contour mais egalement sur l'interieur de l'os. Or, dans de ncm- 
breuses applications, seule la connaissance du contour surfacique 
de l'os ou de l'objet est necessaire. 

un autre exenple d 1 application de la pr§sente invention 
est la reconstitution d'ossements incomplets, par exenple, en 

15 archeologie. Itoe reconstitution d' images en trois dimensions peut 
permet t re de retrouver de fagon quasi -parfaite la forme origi- 
nelle de l'os meme si celui-ci est decouvert de fagon incomplete . 
Dans tone telle application, des problemes similaires a ceux expo- 
ses ci-dessus en relation avec la simulation d ' interventions chi- 

2 0 rurgicales se posent. En particulier, il est souvent utile de 

connaitre la forme de l'os sans avoir a se preoccuper de sa 
structure interne. 

Un autre inconvenient des techniques connues est 
qu'elles inposent une dose de radiations inportante pour le 
25 patient ce qui n'est pas souhaitable. Si cet inconvenient est 
moins sensible dans le domaine de 1 • archeologie ou c'est le cout 
qui predomine , il est particulierement genant dans la simulation 
d ' interventions chirurgicales . 

La presente invention s' applique plus particulierement 

3 0 a la reconstitution d' images se rapport ant a des cibjets identi- 

fies, c'est-a-dire, dant on connait a l'avance la forme generale. 
Par exenple, pour un os, il faut au prealable decider de quel os 
il s'agit. 

La presente invention vise §. proposer un nouveau pro- 
35 cede de reconstitution d' images en trois dimensions qui pallie 
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les inconvenient s des techniques cannues. L 1 invention vise, en 
particulier, a proposer une solution qui ne necessite pas l'em- 
ploi couteux d'un scanner a rayons X. 

La presente invention vise egalement a proposer une 
5 solution qui soit compatible avec une exposition miniraale aux 
rayons X ou equivalents. 

L 1 invention vise en outre a minimiser le notribre de.vues 
en deux dimensions necessaires pour reconstituer 1' image en trois 
dimensions. 

10 Pour atteindre ces dbjets, la presente invention pre- 

voit un procede de reconstitution d'une image en trois dimensions 
representant les contours surfaciques d f au moins un objet, a par- 
tir d'au moins une vue en detox dimensions de cet dbjet prise aux 
rayons X, caracterise en ce. qu'il consiste a : 

15 determiner la position de la source de prise de vues 

dans un referent iel de reference ; 

selectionner un modele predefini canstituant une forme 
moyenne de I 1 objet ; et 

de fagon iterative jusqu 1 a ce que les contours du 

2 0 modele soient tels que les e carts, entre des rayons de retropro- 
jection des contours de I 1 image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

selectionner une orientation et une position du modele 
dans le referent iel de reference, puis 

25 selectionner une deformation du modele pour modifier 

ses contours en trois dimensions. 

Selon un mode de realisation de la presente invention, 
le modele est cbtenu a partir d'une population d' dbjets pour 
laquelle on recherche la correspondance statistique commune a 

30 tous les dbjets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de fagon a 
disposer d'au moins un modele statistique* 

Selon un mode de realisation de la presente invention, 
les etapes de selection it£ratives consistent a faire subir au 

35 m modele statistique, successivement, une transformation rigide 
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modifiant sa position et/ou son orientation et une deformation 
non-rigide modifiant ses contours surfaciques. 

Selon un mode de realisation de la presente invention, 
les contours de 1 1 image en deux dimensions sent obtenus automat i- 
5 quement en pro j etant le modele dans le plan de 1 1 image en deux 
dimensions, et en deformant les contours projetes de fagon a les 
faire coincider avec les points de fort gradient en niveaux de 
gris de 1 » image en deux dimensions. 

Selon un mode de realisation de la presente invention, 
10 la determination automatique des contours de 1 ■ image en deux 
dimensions est effectuee de fagon iterative, chaque iteration 
etant intercalee entre deux iterations successives des etapes de 
selection. 

Selon ion mode de realisation de la presente invention, 
15 on determine, dans le referentiel de reference, des coordonnees 
en trois dimensions de points de l'bbjet, de fagon a disposer de 
points de reference supplementaires pour les etapes de selection 
iteratives de position, orientation, et deformation. 

Selon un mode de realisation de la presente invention, 
20 on utilise plusieurs images en deux dimensions pour lesquelles 
les positions respectives de la source de prise de vues sont tou- 
tes determinees dans le referentiel de reference, et on effectue 
les etapes de selections iteratives en tenant compte des rayons 
de retroprojection des contours de toutes les images en deux 
25 dimensions. 

Selon un mode de realisation de la presente invention, 
le ncmbre d* images utilise est fonction de la precision souhai- 
tee. 

Selon un mode de realisation de la presente invention, 
3 0 la surface du modele est constitute d 1 elements de triangle, les- 
dits ecarts etant mesures par rapport a des points de certaines 
aretes const ituant des generateurs du contour en trois dimen- 
sions. 

Selon un mode de realisation de la presente invention, 
35 le proc#de est applique i. la reconstitution des contours surfaci- 
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ques de plusieurs dbjets lies entre eux par des relations de 
transformation rigide et/ou eiastique. 

Selon un mode de realisation de la presente invention, 
le procede est applique a la reconstitution d f images d»os. 

L 1 invention concerne egalement un systeme de traitement 
d' images, conportant des moyens pour la mise en oeuvre du procede 
de reconstitution d 1 images en trois dimensions. 

Ces dbjets, caracteristiques et avantages, ainsi que 
d'autres de la presente invention seront exposes en detail dans 
la description suivante de modes de realisation particuliers 
faite a titre non-limitatif en relation avec les figures jointes 
parmi lesquelles : 

la figure 1 represente un mode de realisation d f un sys- 
teme de reconstitution d ! images en trois dimensions a partir d'un 
dispositif de prise de vues en deux dimensions selon la presente 
invention 

la figure 2A illustre la prise d'une vue en deux dimen- 
sions pour la mise en oeuvre du procede de reconstitution d 1 ima- 
ges en trois dimensions selon la presente invention ; 

la figure 2B illustre la prise de trois vues en deux 
dimensions pour la mise en oeuvre du procede de reconstitution 
selon la presente invention ; 

les figures 3A, 3B et 3C illustrent trois Stapes carac- 
teristiques du procede selon un node de realisation de la pre- 
sente invention ; 

la figure 4 illustre tan mode de determination de gene- 
rateurs de contour selon la presente invention ; et 

la figure 5 illustre un mode de determination prefere 
selon 1' invention de I'ecart entre un modele en trois dimensions 
et une vue en deux dimensions. 

Les memes elements ont ete designes par les mimes refe- 
rences aux dif ferentes figures qui ne sont pas a 1 • echelle . Pour 
des raisons de clarte, seuls les elements qui sent necessaires a 
la comprehension de l 1 invention ont ete representes aux figures 
et seront decrits par la suite. En particulier, les moyens de 
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traitement d' images comprenant les calculateurs inf ormatiques 
n'ont pas ete representes et ne seront pas decrits de fagon 
detaillee, car leur realisation est a la portee de l'hocnme du 
metier, a partir des indications fonctionnelles donnees ci-apres. 
5 Une caracteristique de la presente invention est de 

rechercher la position et 1 1 orientation d'un objet a reconsti- 
tuer, et dont on connait au raoins une vue en deux dimensions, a 
partir d'une base de dannees cantenant des modeles de cet objet. 
Quand plusieurs vues en deux dimensions sont utilisees, ces vues 

10 sont toutes referencees dans un mane ref erentiel . Ainsi, 1' inven- 
tion concerne la reconstitution d'une image representant un objet 
deja identifie et dont on peut disposer de modeles de taille 
et/ou de forme dif f erentes . 

Lfrie caracteristique d'un mode de realisation prefere de 

15 la presente invention est d'utiliser au moins un modele statisti- 
que deformable, etabli a partir de la base de donnees , pour 
reconstituer la forme en trois dimensions de 1' objet. Ainsi, 
1' invention prevoit de def inir, avant toute reconstitution, une 
base de dannees contenant des modeles en trois dimensions de 

2 0 I 1 objet a reconstituer ou, de preference, un ou plusieurs modeles 

statistiques deformables k partir de cette base de donnees. 

La figure 1 represente une vue schematique d'un systems 
de reconstitution d 1 images en trois dimensions selon un mode de 
realisation de la presente invention. L'exemple de la figure 1 
25 concerne la reconstitution de 1' image d'un os 1 i. partir de 
radiographics en deux dimensions. En figure 1, on a represente 
schematiquement et partiellement le corps d'un patient p dont la 
jambe contient l'os 1 que l f an souhaite visualiser. La jambe du 
patient p (done l'os 1) est, par exemple, pose sur une table 2. 

3 0 Une potence 3 porte un dispositif 4 de localisation en trois 

dimensions qui peut etre qptique, magnet ique, tnecanique ou ultra- 
sonore et qui repere la position et 1» orient at ion de multiples 
capteurs-emetteurs const itues, par exemple, de diodes infra- 
rouges, de reflecteurs, d 1 emetteurs magnet iques, a ultrasons, 
35 _ etc. Un tel localisateur est parfaitement cannu et ne sera pas 
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detaille plus avant . On notera simplement que, pour garantir une 
localisation correcte du patient (de l'os 1), celui-ci est gene- 
ralement egalement equipe d»un capteur-emetteur 18 detectable par 
le localisateur 4. En effet, selon 1 'invention, toutes les vues 
5 . doivent pouvoir etre exploitees dans un meme referentiel (de 
reference), qui est associe a l'dbjet que l'on reccnstitue. 

Plusieurs capteurs -emett eurs peuvent etre fixes sur le 
systeme de radiologie, proche de la source 7 ( capteur-emetteur 
19) ou proche d'un detecteur d' image 9 ( capt eur- emet teur 5) , de 

10 fagon a reperer la position du systeme de radiologie par rapport 
au referent iel de reference du capt eur- emet teur 18. 

Dans certains cas, les capteurs - emett eurs 5 et 19 sont 
difficilement reperables en raison de leur eloignement ou de la 
presence d'objets parasites dans le chaitp de tnesure du localisa- 

15 teur 4. Dans ce cas, un capt eur -emett eur 20 peut etre installe 
sur la table 2 dans le champ de tnesure du localisateur 4. On 
positionne alors le systems radiologique dans de bonnes condi- 
tions de me sure et on repere les positions des capt eur -emett eurs 
5 et 19 par rapport au capt eur- emet teur 20 une fois pour toutes 

2 0 (on ne renouvelle cette etape que si on bouge le systeme de 
radiologie dans son ensemble) . 

Le systeme radiologique etant equipe de codeurs angu- 
laires sur ses axes, comme cela sera detaille plus loin, les 
changements de position relative du systeme radiologique sent 

2 5 mesures a 1 1 aide de ces codeurs et peuvent ainsi etre reportes 
dans le referentiel du capt eur- emett eur 20. Pour chaque prise de 
vue, on tnesure la relation geometrique entre les capteurs - 
eraetteurs 20 et 18 et, par ce biais, on reporte la position du 
systeme radiologique dans le referentiel de reference du capteur- 

30 emetteur 18. Ainsi, toutes les radiographies sont calibrees dans 
le referentiel du capt eur- &nettexir 18 qui peut etre mobile. 

Le dispositif 6 est, par exemple, constitue d'une 
source 7 a rayons X portee par une premiere extremite d'un bras 8 
en demi-cercle dont 1» autre extr€mit§ est destinee a recevoir le 

35 film 9 d 1 impression de la radiographic, ou un capteur elect roni- 
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que equivalent tel qu'un aitplif icateur de brillance, ou ion detec- 
teur plat au silicium amorphe. La relation entre le bras 8 et la 
table 2 est telle que cette derniere se trouve entre la source 7 
et le capteur 9. Le bras 8 est monte a rotation autour d'un axe 
5 10, motorise ou £ deplacement manuel, et porte par une potence 
11 . L 1 ensemble de prise de vues en deux dimensions peut ainsi 
tourner autour de I'os 1 pour effectuer le nombre d6sire de 
radiographics de celui-ci. Le cas echeant, le localisateur opti- 
que 4 peut etre associe a un dispositif de codage angulaire de la 

10 position de I'axe 10. 

L ■ ensemble est pilote par un systeme informatique, par 
exenple, un ordinateur 12 associe, de preference, a un ecran de 
visualisation 13. A la figure 1, on a symbolist par des liaisons 
unifilaires 14 , 15, 16 et 17, les bus informatiques d'echange de 

15 signaux electriques de coramande et de donnees entre 1' ordinateur 
12 et, respect ivement, le localisateur 4, la source 7, le moteur 
ou le codeur qptiannel de 1 1 axe 10 et le capteur 9. 

Les f igures 2A et 2B illustrent deux modes de prises de 
vues selon detox modes de realisation de la presente invention. 

2 0 Aux figures 2A et 2B, les vues en deux dimensions ant ete repre- 

sentees par les plans respectifs dans lesquelles elles sont pri- 
ses, c'est-a-dire par 1 1 allure de la surface du capteur 9 (figure 
1) lors des prises. Cela correspond aux images radiographiques en 
deux dimensions recuperees par le systone inf ormatique . 
25 La figure 2A represente le cas d'une seule prise de vue 

dans un plan PI, fournissant une image II de l'os 1. La position 
de la source 7 a ete symbolisee par un point ou convergent des 
rayons r de retroprojection des quatre coins du plan PI. 

La figure 2B represente le cas d'une triple prise de 

3 0 vues dans des plans PI, P2 et P3, fournissant trois images II, 12 

et 13 en deux dimensions de l'os 1. En figure 2B, la position de 
la source n'est pas const ante, celle-ci est differente pour cha- 
que prise de vue. Toutefois, grace au localisateur 4, toutes les 
positions de la source sont connues dans le referentiel de ref6- 
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rence. Par soucis de clarte, seuls les rayons rl des quatre coins 
du plan PI dans la position de 1* image II ant ete representes . 

On notera que la source de prises de vues peut subir, 
entre .deux images en deux dimensions, d f autres mouvements que 
5 dans un mime plan cootne illustr§ par les figures 1 et 2B. En 
d'autres termes, le bras 8 du syst&ne de prises de vues 6 peut 
presenter plus de deux degres de liberte, dont chacun pourra etre 
muni d'un dispositif de codage angulaire. Selon un mode de reali- 
sation pref^re, le bras 8 est monte sur deux axes de rotations 

10 horizontal et vertical et un axe de translation vertical. 

On notera egalement que les images en deux dimensions 
peuvent n'etre que partielles. Par exerrple, dans 1 'application 
aux radi ographies , celles-ci peuvent etre interpretees par l'ope- 
rateur pour valider les contours des vues en deux dimensions a 

15 prendre en compte pour la reconstitution. Une telle interpreta- 
tion n f est pas genante en raison du faible nombre de vues en deux 
dimensions necessaire selon I 1 invention (moins de dix en gene- 
ral) . La validation des contours dans le systeme inf ormatique 
peut etre effectuee, par exewple, au moyen d'une souris, d'un 

20 crayon optique, d'un ecran tactile, ou equivalent , de fa<?on clas- 
sique pour un enregistrement de contour sur une image en niveaux 
de gris. 

Selon un autre mode de realisation pr^fere, la determi- 
nation des contours sur les images radiographiques est automati- 

25 see en mettant en oeuvre un procede dit de recalage en deux 
dimensions. Un tel procede consiste a determiner le contour de 
fagon automatique par analyse des gradients les plus forts en 
niveaux de gris. Ce procede est decrit, par exernple, dans la 
these de Gelu Ionescu, presentee publiquement le 4 decembre 1998 

30 a l'Universite Joseph Fourier de Grenoble (France), et ayant pour 
tit re "Segmentation et recalage d 1 images echographiques par uti- 
lisation de connaissances physiologiques et morphologiques" . 
Selon l 1 invention, on met en oeuvre ce procede de recalage en 
deux dimensions en corribinaison avec une projection, sur 1' image 

35 en deux dimensions, du modele statistique deformable de l'objet 
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dont on souhaite. reconstituer les contours surfaciques en trois 
dimensions. On effectue une analyse iterative d ! un contour pro- 
jet e du modele sur 1 1 image en deux dimensions jusqu'a bbtenir, 
apres plusieurs passes (par exenple de 3 a 10) , une identite 
5 entre le contour du modele projete qui sera decrit ci-apres et 
dont 1 1 orientation et la deformation auront ete adaptes par le 
procede de 1' invention, et le contour determine par analyse des 
gradients les plus forts en niveaux de gris. Cette cambinaison 
sera mieux comprise par la suite en relation avec la figure 5. 

10 Pour sinplifier la presente description, on considerera 

ci-apres que les contours des vues en deux dimensions sont 
connus. En pratique, les etapes du procede de 1' invention seront 
effectuees en boucle, y compris le recalage en deux dimensions, 
jusqu'a cbtenir un r6sultat satisf aisant . 

15 Selon 1 1 invention, une fois que la ou les vues en deux 

dimensions ant ete obtenues, il reste a determiner, par recherche 
de correspondance dans la base de dcmn£es, la forme et la taille 
de l'objet (ici, l'os) en trois dimensions. 

Pour ce faire, 1 1 invention prevoit de rechercher le 

2 0 modele pour lesquelles les distances separant les contours de 
chaque vue en deux dimensions et la surface du modele sont mini- 
males. 

Dans le mode de realisation prefere ou on utilise un 
modele statistique deformable (definissant ainsi une famille de 
25 modeles) de l'dbjet a reconstituer, on recherche a s 1 approcher le 
plus possible, par deformation iterative de ce modele, de la 
forme dont les contours sont tels que, comme on le verra par la 
suite en relation avec la figure 5, les rayons de retrcprojection 
s ■ appuyant sur les points des contours de I 1 image (ou des images) 
30 en deux dimensions depuis la source (ou depuis leurs sources 
respect ives) sont tous tangent iels a la surface du modele, etant 
entendu que les dif f erents contours en deux dimensions sont 
reperables dans le referentiel de reference . 

La realisation du modele statistique deformable en lui 
. 35 meme ne fait pas l'dbjet de- la presente invention et est parfai- 
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tement classique . On se bornera a rappeler que la realisation 
d'un tel modele fait generalement appel a une recherche d'une 
forme moyenne d'une population d 1 ob j ets de meme type (par exam- 
ple, des femurs) const ituant la base de donnees , suivie d'une 
5 analyse en composantes principales pour determiner les deforma- 
tions principales (essentielles) a appliquer 3. cette forme 
tnoyenne et dbtenir ainsi le modele statistique. 

Une methode de determination d'un modele statist ique a 
partir d'une famille d ' echantillons est decrite, par exemple, 

10 dans 1' article "Building a Complete Surface Model from - Sparse 
Data Using Statistical Shape Models: Application to Cottputer 
Assisted Knee Surgery" de Markus Fleute et Stephane Lavallee, 
paru dans MEDICAL IMAGE COMPUTING AND COMPUTER -ASSISTED 
INTERVENTION - MICGAI'98, Springer- Verlag LNCS Series, pages 880- 

15 887, en Octobre 1998, et dont le contenu est incorpore ici par 
reference. On not era que la precision de la reconstruction des 
. contours surfaciques cperee par 1 1 invention depend des echantil- 
lons utilises pour construire la base de donnees du modele sta- 
tist ique. Par exemple, si un modele statistique de femur est cree 

2 0 a partir d'une population d 1 echantillons ayant des formes norma- 
les (sans pathologie) , on pourra reconstituer avec precision des 
formes normales mais la precision sera limit^e si le femur radio- 
graphic a une forme pathologique . Par centre, si le modele stati- 
stique est cr€6 partir d'une grande population d 1 Echantillons 

25 contenant §l la fois des formes normales et des formes pathologi- 
ques, on pourra reconstituer, avec precision, des dbjets normaux 
et pathologiques . 

Selon 1» invent ion, une fois que l'on dispose des images 
en deux dimensions, on recherche le cas echeant a quel modele 

30 contenu dans la base de donnees ces images se rapprochent le plus 
(par exemple, si plusieurs types d 1 os ou si plusieurs moddles 
statistiques d'un meme os sont disponibles) , puis on applique des 
transformations a ce modele pour s 1 approcher le plus possible 
d'une image en trois dimensions, telle que les rayons de retro- 

35 projection des images jusqu't leurs sources respect ives sont tan- 
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gentiels aux surfaces de 1' image en trois dimensions, placee sur 
le trajet de ces rayons et dont ils sont respectivement les plus 
proches . 

De preference, on commence par faire subir an modele 
initial au repos, c»est-&-dire correspondant a la forme moyenne, 
une transformation dite rigide, c»est-£-dire, ne touchant qu't 
son orientation et sa translation dans l'espace. Puis, quand on a 
dbtenu la position pour laquelle les rayons de retroproj ection 
sont tous a une distance minimale des contours du modele initial, 
on fait subir une deformation non-rigide au modele, c'est-a-dire 
que sans modifier son orientation, on modifie sa forme a partir 
des donnees contenues dans la base statistique en modifiant les 
coefficients des modes principaux du modele, jusqu'a obtenir la 
forme dont les contours se rapprochent le plus des rayons de 
retroproj ection . Le cas echeant , le modele est prepositionne de 
fagon tres approximative par 1 ' operateur par rapport aux vues en 
deux dimensions affichees a l'ecran. On notera que les moyens 
(inforroatiques) de traitement d 1 images utilises sent classiques 
dans leur structure et n'ont done pas besoin d'etre d^tailles. 

Les figures 3A a 3C illustrent ces deux etapes du pro- 
cede de l 1 invention. La figure 3A represente une vue en trois 
dimensions d'un modele 21 avant toute deformation. II s'agit, par 
exenple, d'un modele statistique de 1" invent ion positionne par le 
praticien dans une orientation approximative. La figure 3B repre- 
sente le modele 21 1 de la figure 3Ai l'issue de 1'etape d'orien- 
tation sans modification de forme. La figure 3C represente 
1 'image 22 en trois dimensions resultant de la mise en oeuvre de 
l f invention, c'est-a-dire correspondant au modele 21 1 , deforme 
pour que les rayons de retroproj ection soient (idealement) tan- 
gents a tous ses contours. 

Par souci de simplification, un seul groupe de rayons r 
de r6trqproj ection depuis une source 7 ont ete representes aux 
figures 3A a 3C et l'ecran de projection de 1' image correspon- 
dante-n'a pas ete represente. Comme il ressort des figures 3A a 
3C, un grand nombre de rayons r de la figure 3A ne sent pas tan- 
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gents aux contours du modele 21. Le nombre de rayons de retrqpro- 
jection utilise depend de la precision souhaitee et des caracte- 
ristiques du modele statist ique, essentiellement, du nooibre de 
points, surfaciques choisis pour servir de r6f6rence lors de la 
definition de ce module statistique. 

De la figure 3A a la figure 3B, la transformation est 
"rigide", C est -a- dire que le modele n»est pas deforme. Lors de 
cette transformation, le module 21 subit des translations et 
rotations af in d 1 obtenir des mesures d 1 ecarts minimum entre 
chaque rayon de retrcproj ection part ant des points de contour de 
l 1 image et la surface de l'objet dans sa position courante. On 
utilise pour cela des methodes mathematiques de recherche du 
minimum de la sarnie des carres de ces ecarts par rapport aux six 
parametres (trois degres de liberte en rotation et trois degres 
de liberte en translation) definissant la transformation rigide 
recherchee. On obtient une configuration telle qu 1 illustree par 
la figure 3B dans laquelle le modele 21 ' a line position et 
orientation correcte mais une forme encore imparfaite. C'est 
pourquoi certain rayons r' ne sont pas tangents mais traversent 
le modele. 

De preference, la position resultant de la transforma- 
tion rigide (rotation, translation) est obtenue par une methode 
(algorithme) dite du point le plus proche (Iterative Closest 
Point, ICP) . Uti exenple d'lane telle methode est deer it dans 1' ar- 
ticle "A Method for Registration of 3-D Shapes" de Paul J. Best 
et Neil D. McKay, paru dans IEEE TRANSACTIONS ON PATTERN ANALYSIS 
AND MACHINE INTELLIGENCE, vol. 14, NO. 2, en fevxier 1992, et 
dont le contenu est incorporg ici par r§f€rence. 

De la figure 3B a la figure 3C, la transformation est 
n non- rigide " (elastique) et consiste a deformer le moddle 21 f 
sans changer son orientation jusqu'a obtenir 1' image 22 en trois 
dimensions pour laquelle tous les rayons de retroproj ection r" 
sont a une distance minimale des contours (idealement tangents) . 
Cette transformation non-rigide est effectuee, par exenple et 
selon un premier mode de realisation, en calculant les parametres 
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de deformation a partir d'un algorithme connu sous la denomina- 
tion anglo- saxonne "Down Hill Sinplex" . Cet algorithme a ete 
decrit, par exemple, en 1965 par J. A. Nelder et R. Mead dans 
COMPUTER JOURNAL, vol. 7, pages 308-313, dont le contenu est 
5 incorpore ici par reference. 



1 1 algorithme utilise pour determiner la transformation nan-rigide 
du modele statistique est base sur la methode de Levenberg- 
Marquardt. Le principe de cette methode est de determiner le 

10 minimum d'une fonction non-lineaire multidimensionnelle en utili- 
sant les derivees partielles de la fonction par rapport aux para- 
metres de deformation du modele. Cette methode a ete decrite, par 
exemple , en 1963 par D.w. Marquardt dans JOURNAL OF THE SOCIETY 
FOR INDUSTRIAL AND APPLIED MATHEMATICS, vol. 11, pages 431-441, 

15 dont le contenu est incorpore ici par reference . La fonction dont 
on cherche le minimum est ici la somme des carres des distances 
entre un ensemble de rayons de ret rqpro j ec t ion s 1 appuyant sur les 
points de contours et la surface du modele. Les parametres de la 
recherche du minimum sont les coefficients que 1 'on applique a 

2 0 chaque mode de deformation du modele statistique, ainsi que cela 

est presente dans l 1 article "Building a Complete Surface Model 
from Sparse Data Using Statistical Shape Models: Application to 
Computer Assisted Knee Surgery" de Markus Fleute et Stephane 
Lavallee, d§j£ cite. 
25 Cette methode est appliquee et repetee a chaque 

position approchee jusqu'a ce qu'il ne soit plus possible de 
minimiser les ecarts. On enchaine a±nsi un recalage rigide, un 
recalage elastique, un recalage rigide, un recalage elastique, 
etc. me fois la forme en trois dimensions reconstitute, sa 

3 0 taille est bien entendu egalement connue dans la mesure ou toutes 

les vues en deux dimensions ont des tallies connues, de mime que 
la position, dans le referent iel de reference, du modele par rap- 
port aux sources. Le nombre de passes necessaire depend essen- 
tiellement du nombre de parametres caracteristiques utilises pour 
35 modeliser la deformation. 



Selon un mode de realisation prefere de l 1 invention, 
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On notera que l'ordre dans lequel sont ef features les 
deux etapes ci-dessus est important . En effet, si on commence par 
effectuer une deformation non-rigide, on va faire correspondre un 
modele avec une mauvaise orientation qu ' il sera tres difficile a 
5 recuperer en raison de la deformation de forme subie. Toutefois, 
la minimisation des ecarts peut Etre effectuEe global ement en 
prenant en compte les parametres rigides et les parametres de 
deformations en meme tenps a chaque iteration du processus ma the - 
matique de minimisation. 

10 On notera que, a chaque etape iterative du procede dans 

laquelle on calcule les ecarts entre les contours du modele et 
les rayons de ret ropro j ect ion , de nouveaux points entrant dans la 
me sure sont determines cote modele et/ou cote rayons de projec- 
tion. Ceci constitue une distinction import ante par rapport a des 

15 procedes connus de reconstitution d 1 images en trois dimensions 
dans lesquels les points de me sure sont les memes pour toutes les 
iterations. 

Une autre caractEristique de la prEsente invention est 
que les Evaluations des ecarts minimaux ne sont pas necessaire- 

2 0 ment faites de fagon exhaustive pour tous les Elements de surface 

du modele. En effet, cela conduirait parfois a des calculs trpp 
dispendieux meme si le nombre d 1 elements de surface peut etre 
minimise en utilisant des Elements triangulaires . Selon I 1 inven- 
tion, les evaluations d 1 ecarts sont faites par rapport a des 
25 lignes caracteristiques constituant des genErateurs de contours 
du modele. Cela minimise le nombre de points de mesure. Par exam- 
ple, un os de type femur, defini par environ 5000 bords de surfa- 
ces triangulaires, est defini par environ 300 gEnErateurs de 
contours. 

3 0 De preference, l 1 analyse effectuee par le procede de 

1 1 invention ne touche que des generateurs de contour de 1 f image 
~en trois dimensions. Ainsi, la surface du modele statistique est, 
de preference, formee d 1 elements triangulaires dont certaines 
aretes def inissent des generateurs du contour. Ito generateur de 
35 contour est dEfini par les aretes (bords) des triangles qui, pro- 
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jetes sur un plan, definissent le contour (interne ou externe) . 
Le recours aux generateurs de contours perraet de reduire conside- 
rablement (par exeirple, d'au moins un facteur 10) le norabre de 
points, a chercher dans le modele pour verifier la correspondance 
5 avec l f image recdnstituee . 

La figure 4 illustre la definition d'un generateur de 
contour d f une image (modele) en trois dimensions dant la surface 
est formee d ! elements de surface triangulaires tels que decrits, 
par exemple, dans 1' article "Anatomy-based registration of ct- 

10 scan and intraoperative x-ray images for guiding a surgical 
robot" de A. Gueziec, paru dans IEEE TRANSACTIONS ON MEDICAL 
IMAGING, 17(5), pages 715-728, en octdbre 1998, et dont le 
contenu est incorpore ici par reference. 

La figure 4 represente, de fagon simplifi£e, deux 

15 triangles 30 et 31 definissant une portion de surface d f un modele 
en trois dimensions et dont 1' arete commune constitue une genera- 
trice 32 du contour, Le calcul a effectuer pour determiner si une 
arete constitue ou non une generatrice du contour consiste a cal- 
culer les angles a et p respectif s entre les normales aux surfa- 

2 0 ces des triangles 30 et 31 et les rayons 33 et 34 reliant le 
centre de ces surfaces au centre 35 de projection correspondant a 
la position de la source de rayons X. Si l'un des angles est 
inferieur a 90° tandis que 1' autre est superieur a 90°, leur 
arete commune 32 est alors une generatrice du contour. 

25 La figure 5 illustre le type de mesure effectuee pour 

determiner 1 'ecart e entre un rayon r de retrqprojection et un 
point d f un generateur de contour. Cette figure represente, de 
fagon schematique, une image I de l'dbjet dans un plan P et une 
forme 21 du modele statist ique placee sur le trajet des rayons de 

30 retrqprojection de l f image I jusqu'a la source (non representee) . 

Pour chaque rayon de retrqprojection r, on cherche les 
points respectifs 41 et 40 du rayon de retroprojectian et d'un 
generateur de contour choisi parmi tous les generateurs, pour 
lequel l'ecart e entre ces points est minimal. 
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Un avantage de la presente invention est qu'elle permet 
une reconstitution beaucoup plus rapide d'une image en trois 
dimensions par rapport aux techniques connues . 

Un autre ayantage de la presente invention est qu'elle 
5 perroet un alignement correct du modele mime dans des zones oil an 
ne dispose pas de donnees de projection par les images en deux 
dimensions (par exemple, certaines courbures internes) . 

On not era que le contour de surface pourra, le cas 
echeant , etre affine au moyen d f un palpeur mecanique, optique ou 
10 magnet ique fournissant des coordonnees spatiales dans le meme 
referent iel que les images en deux dimensions. On dbtient alors 
des points supplementaires qui peuvent etre utilises dans la 
recherche de 1 1 image en trois dimensions. Le recours a un palpeur 
peut servir, par exemple, a diminuer le nombre de vues en deux 
15 dimensions necess aires en donnant une information en trois dimen- 
sions. 

On notera egalement que le procede de 1' invention peut 
s'appliquer a plusieurs contours surfaciques en trois dimensions 
constituant ion ou plusieurs objets. Par exemple, on peut ainsi 

2 0 reconstituer simultanement la surface externe et la surface cor- 

ticale interne d'un os. On peut egalement reconstituer la forme 
de plusieurs os participant & un articulation et visibles simul- 
tanement sur les images radiologiques (par exemple, le tibik et 
le femur si on s 1 interesse au genou) , ou encore la forme de plu- 
25 sieurs fragments osseux d'un mime os. Le module recherche doit, 
dans ce dernier cas, ccntenir les transformations rigides entre 
chaque contour surfacique en trois dimensions. Dans d' autre cas 
d 1 application a plusieurs objets, il faut bien entendu connaxtre 
les differents modeles statistiques et les eventuelle transforma- 

3 0 tions rigides ou elastiques entre eux. 

Bien entendu, la presente invention est susceptible de 
diverses variantes et modifications qui apparaitront a l'hotrme de 
1' art . En particulier, le nombre de vues en deux dimensions 
devant etre utilise pour la reconstitution depend de la precision 
35 souhaitee et de la complexite du modele. Dans certains cas, une 
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seule vue en deux dimensions pourra suffire. De plus, bien que 
1 1 invention ait ete decrite en relation avec une source de rayons 
X mobile, celle-ci pourra etre remplacee par plusieurs sources 
f ixes , . pourvu de respecter la ccntrainte d*obtenir des images en 
deux dimensions dans un meme ref erentiel . En outre, la mise en 
oeuvre de 1 1 invention fait bien entendu appel a des techniques de 
traitement numerique d» images dont la realisation pratique est a 
la portee de l'homme du metier a partir des indications fonctian- 
nelles donnees ci-dessus et dans les publications citees en refe- 
rences . 
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KEVENDICA.TIQNS 

1. Procede cie reconstitution d'une image en trois 
dimensions representant les contours surfaciques d'aumoins un 
dbjet (1) , a partir d f au raoins une vue en deux dimensions de cet 
dbjet prise aux rayons X, caracterise en ce qu'il consiste a : 

5 determiner la position de la source (7) de prise de 

vues dans un r§f#rentiel de reference ; 

selectionner un modele predefini constituant une forme 
moyenne (21) de l 1 dbjet ; et 

de faqron iterative jusqu'a ce que les contours du 
10 modele soient tels que les hearts, entre des rayons de retrcpro- 
jectian des contours de l 1 image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

selectionner une orientation et une position du modele 
dans le r^ferentiel de reference, puis 
15 selectionner une deformation du modele pour modifier 

ses contours en trois dimensions, 

2. Procede selan la revend i cation 1, caracterise en ce 
que le modele est dbtenu a partir d'une population d'dbjets pour 
laquelle on recherche la correspondance statistique commune a 

2 0 tous les cbjets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de fagon a 
disposer d f au moins un modele statistique. 

3. Proced^ selon la revindication 2, caracterise en ce 
que les etapes de selection iteratives consistent Sl faire subir 

25 au modele statistique, successivement, une transformation rigide 
modifiant sa position et/ou son orientation et une deformation 
nan- rigide modifiant ses contours surfaciques. 

4. Precede selon I'une quelcanque des revendications 1 
a 3, caracterise en ce que les contours de I 1 image en deux dimen- 

30 sions sent obtenus automat iquement en projetant le modele dans le 
plan de l 1 image en deux dimensions, et en deformant les contours 
projetes de fagon a les faire coincider avec les points de fort 
gradient en niveaux de gris de 1 • image en deux dimensions . 
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5. Procede selon la revendicat ion 4, caracterise en ce 
que la determination automat ique des contours de 1 1 image en deux 
dimensions est effectuee de fagon iterative, chaque iteration 
etant intercalee entre deux iterations success ives des etapes de 

5 selection. 

6. Procede selon 1 1 une quelconque des revendi cations 1 
a 5, caracterise en ce qu'il consist e a determiner, dans le r§fe- 
rentiel de reference, des coordonnees en trois dimensions de 
points de l l dbjet / de fagon a disposer de points de reference 

10 supplementaires pour les Stapes de selection iteratives de posi- 
tion, orientation, et deformation. 

7. Procede selon l'une quelconque des revendi cations 1 
a 6, caracterise en ce qu'il consiste k utiliser plusieurs images 
en. deux dimensions pour lesquelles les positions respectives de 

15 la source de prise de vues sont toutes determinees dans le refe- 
rent iel de reference, et k effectuer les etapes de selections 
iteratives en tenant cotrpte des rayons de r€troprojection des 
contours de toutes les images en deux dimensions. 

8. Procede selon la revendi cation 7, caracterise en ce 
2 0 que le nombre d» images utilise est fonction de la precision 

souhaitee. 

9. Procede selon l'une quelconque des revendi cations 1 
S 8, caracteris6 en ce que la surface du modele est constitute 
d' elements de triangle, lesdits ecarts etant mesures par rapport 

25 a des points de certaines aretes constituant des generateurs du 
contour en trois dimensions. 

10. Procede selon l'une quelconque des revendicaticns 1 
a 9, caracterise en ce qu'il est applique a la recanstitution des 
contours surfaciques de plusieurs dbjets lies entre eux par des 

30 relations de transformation rigide et/ou Slastique. 

11. Procede selon l'une quelconque des revendicaticns 1 
a 10, caracterise en ce qu'il est appliqu6 a la recanstitution 
d' images d'os. 
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12. Systeme de traitement d 1 images, caract:£ris£ en ce 
qu'il comporte des moyens pour la mise en oeuvre du procede selon 
l'une quelconque des r evendi cat ions 1 a 11. 
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